Sinh ra ở New York, tuy nhiên khi chưa đầy một tuổi, Miller đã chuyển đến London cùng gia đình. Mẹ cô, bà Josephine, là một người mẫu Nam Phi gốc Anh. Bố của cô, ông Edwin Miller, là một chủ ngân hàng. Miller có một chị gái, Savannah, và hai em trai cùng cha khác mẹ, Charles và Stephen. Cô theo học ở trường Heathfield Ascot, một trường nội trú ở Ascot và sau này theo học ở trường điện ảnh Lee Strasberg ở New York trong một năm.[1]